dataCraft Core. Документация
dataCraft Core — это инструмент для построения хранилища данных, разработанный в Adventum. Он решает задачу построения хранилища данных (Data Warehouse, DWH). dataCraft Core отвечает за все аспекты этой задачи:
dataCraft Core объединяет между собой несколько инструментов с открытым кодом. Стек инструментов:
По каждому из этих инструментов мы стараемся использовать лучшие практики по работе с ними. Например, в задачи Airflow и модели dbt мы добавляем документацию, чтобы новый пользователь мог быстро разобраться, что происходит в системе.
Также dataCraft Core может опционально интегрироваться с системой маркетинговой и продуктовой аналитики dataCraft в двух направлениях:
Благодаря dataCraft Core построение базового хранилища делается двумя строчками кода:
from apache_airflow_providers_datacraft_dags import DagBuilder
DagBuilder.create_dags()
которые инициализирует все инструменты стека и настраивают ежедневный сбор и обработку данных. Все части системы, построенной на основе dataCraft Core, пользователь может легко настроить под себя.
dataCraft Core состоит из трёх частей:
{{ datacraft.normalize() }}.